VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction
VoiceMem：实时交互的流式双脑记忆
🧭 实时语音 Agent 记忆 · 流式 RAG ★ 深度解读
Nanyang Technological University · National University of Singapore · Tsinghua University · The Chinese University of Hong Kong · Open Interaction Lab
双脑流式记忆：左脑管信息、右脑管情感人格，top-5 检索 134ms 达到实时语音交互记忆 SOTA
📌 工作参考价值（4 点）
- 用 schema-entity 两层索引替代扁平向量召回：先把候选池按实体/类目路由到小集合，再做 top-5/10 精排；适合电商导购/会话推荐里把用户长期行为、商品类目、偏好实体做成可寻址索引，低 token 预算下保持高准确率。
- 借鉴“让候选池更密而不是把 K 调大”的结论：通过 query 共现和 LLM judge 自动让兴趣簇/商品簇跨预设类目重组，可迁移到用户兴趣聚类、促销主题挖掘、Semantic ID 层级构建。
- 把事实行为与情感/偏好分开建模：独立节点记录长期偏好，跨实体节点记录对具体商品/事件的态度，避免把一次情境反应误判为长期兴趣；适合个性化推荐理由、卖点文案和售后 Agent 的情绪感知。
- 上层图路由与底层向量/记忆引擎解耦，四阶段流式检索拆分到固定静音/请求窗口内；在电商语音助手或实时推荐 Agent 中可异步执行召回/粗排/精排，保证延迟不随 K 线性增长。